QVal: Cheaply Evaluating Dense Supervision Signals for Long-Horizon LLM Agents
QVal：低成本评估长程LLM智能体的密集监督信号
🧭 Agent 密集监督信号评估方法论 ★ 深度解读
Tübingen AI Center, University of Tübingen · Fondazione Bruno Kessler
提出训练免费评估平台QVAL，通过Q对齐衡量密集监督信号与参考价值排序的一致性，发现简单直接提示优于大多数专用方法
📌 工作参考价值（4 点）
- 在推荐Agent或多轮搜索对话中，可借鉴QVAL离线评估思路：用最优策略或强模型为中间状态-动作对标注参考Q值，评估候选密集奖励函数，避免昂贵线上训练。
- 设计密集监督信号时，优先尝试简单的直接提示（LLM直接打分），复杂的内在激励或自蒸馏变体未必带来提升，可先通过Q对齐指标快速过滤无效方案。
- 发现复杂变体不提升对齐性，提示在投入大规模训练前，应在标准评估集上以排序相关性而非下游性能对比信号质量，分离信号设计与训练工程的影响。
- QVAL的收集-标注-评估流水线可迁移至推荐系统：将用户交互序列视为轨迹，定义推荐动作为中间步骤，使用离线强化学习参考策略生成价值标签来校准信号。